home *** CD-ROM | disk | FTP | other *** search
/ .net 2002 March / DotNetMagazine-Issue107-Coverdisc-NET107-02-03-PCMac.bin / pc / PC Software / picks / HTTrack / httrack-3.22-3.exe / {app} / src / htswizard.c < prev    next >
Encoding:
C/C++ Source or Header  |  2002-11-17  |  31.1 KB  |  891 lines
  1. /* ------------------------------------------------------------ */
  2. /*
  3. HTTrack Website Copier, Offline Browser for Windows and Unix
  4. Copyright (C) Xavier Roche and other contributors
  5.  
  6. This program is free software; you can redistribute it and/or
  7. modify it under the terms of the GNU General Public License
  8. as published by the Free Software Foundation; either version 2
  9. of the License, or any later version.
  10.  
  11. This program is distributed in the hope that it will be useful,
  12. but WITHOUT ANY WARRANTY; without even the implied warranty of
  13. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14. GNU General Public License for more details.
  15.  
  16. You should have received a copy of the GNU General Public License
  17. along with this program; if not, write to the Free Software
  18. Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  19.  
  20.  
  21. Important notes:
  22.  
  23. - We hereby ask people using this source NOT to use it in purpose of grabbing
  24. emails addresses, or collecting any other private information on persons.
  25. This would disgrace our work, and spoil the many hours we spent on it.
  26.  
  27.  
  28. Please visit our Website: http://www.httrack.com
  29. */
  30.  
  31.  
  32. /* ------------------------------------------------------------ */
  33. /* File: httrack.c subroutines:                                 */
  34. /*       wizard system (accept/refuse links)                    */
  35. /* Author: Xavier Roche                                         */
  36. /* ------------------------------------------------------------ */
  37.  
  38. #include "htswizard.h"
  39. #include "htsdefines.h"
  40.  
  41. /* specific definitions */
  42. #include "htsbase.h"
  43. #include <stdio.h>
  44. #include <stdlib.h>
  45. #include <string.h>
  46. #include <ctype.h>
  47. /* END specific definitions */
  48.  
  49. // version 1 pour httpmirror
  50. // flusher si on doit lire peu ‡ peu le fichier
  51. #define test_flush if (opt->flush) { fflush(opt->log); fflush(opt->errlog); }
  52.  
  53. // pour allÈger la syntaxe, des raccourcis sont crÈÈs
  54. #define urladr   (liens[ptr]->adr)
  55. #define urlfil   (liens[ptr]->fil)
  56.  
  57. // libÈrer filters[0] pour insÈrer un ÈlÈment dans filters[0]
  58. #define HT_INSERT_FILTERS0 {\
  59.   int i;\
  60.   if (*filptr > 0) {\
  61.     for(i = (*filptr)-1 ; i>=0 ; i--) {\
  62.       strcpybuff(filters[i+1],filters[i]);\
  63.     }\
  64.   }\
  65.   strcpybuff(filters[0],"");\
  66.   (*filptr)++;\
  67.   (*filptr)=minimum((*filptr),filter_max);\
  68. }
  69.  
  70.  
  71.  
  72. /*
  73. httrackp opt     bloc d'options
  74. int ptr,int lien_tot,lien_url** liens
  75.                              relatif aux liens
  76. char* adr,char* fil
  77.                              adresse/fichier ‡ tester
  78. char** filters,int filptr,int filter_max
  79.                              relatif aux filtres
  80. robots_wizard* robots
  81.                              relatif aux robots
  82. int* set_prio_to
  83.                              callback obligatoire "capturer ce lien avec prio=N-1"
  84. int* just_test_it
  85.                              callback optionnel "ne faire que tester ce lien Èventuellement"
  86. retour:
  87.                0 acceptÈ
  88.                1 refusÈ
  89.                -1 pas d'avis
  90. */
  91. int hts_acceptlink(httrackp* opt,
  92.                    int ptr,int lien_tot,lien_url** liens,
  93.                    char* adr,char* fil,
  94.                    char*** ptrfilters,int* filptr,int filter_max,
  95.                    robots_wizard* robots,
  96.                    int* set_prio_to,
  97.                    int* just_test_it) {
  98.   
  99.   int forbidden_url=-1;
  100.   int meme_adresse;
  101.   char** filters = *ptrfilters;
  102.  
  103.   // -------------------- PHASE 0 --------------------
  104.  
  105.   /* Infos */
  106.   if ((opt->debug>1) && (opt->log!=NULL)) {
  107.     fspc(opt->log,"debug"); fprintf(opt->log,"wizard test begins: %s%s"LF,adr,fil);
  108.     test_flush;
  109.   }
  110.   
  111.   /* Already exists? Then, we know that we knew that this link had to be known */
  112.   if (adr[0] != '\0'
  113.     && fil[0] != '\0'
  114.     && opt->hash != NULL
  115.     && hash_read((hash_struct*)opt->hash, adr, fil, 1) >= 0
  116.     ) {
  117.     return 0;  /* Yokai */
  118.   }
  119.   
  120.   // -------------------- PHASE 1 --------------------
  121.  
  122.   /* Doit-on traiter les non html? */
  123.   if ((opt->getmode & 2)==0) {    // non on ne doit pas
  124.     if (!ishtml(fil)) {  // non il ne faut pas
  125.       //adr[0]='\0';    // ne pas traiter ce lien, pas traiter
  126.       forbidden_url=1;    // interdire rÈcupÈration du lien
  127.       if ((opt->debug>1) && (opt->log!=NULL)) {
  128.         fspc(opt->log,"debug"); fprintf(opt->log,"non-html file ignored at %s : %s"LF,adr,fil);
  129.         test_flush;
  130.       }
  131.       
  132.     }
  133.   }
  134.   
  135.   /* Niveau 1: ne pas parser suivant! */
  136.   if (ptr>0) {
  137.     if (liens[ptr]->depth <= 1) {
  138.       forbidden_url=1;    // interdire rÈcupÈration du lien
  139.       if ((opt->debug>1) && (opt->log!=NULL)) {
  140.         fspc(opt->log,"debug"); fprintf(opt->log,"file from too far level ignored at %s : %s"LF,adr,fil);
  141.         test_flush;
  142.       }
  143.     }
  144.   }
  145.  
  146.   /* en cas d'Èchec en phase 1, retour immÈdiat! */
  147.   if (forbidden_url==1) {
  148.     return forbidden_url;
  149.   }
  150.   
  151.   // -------------------- PHASE 2 --------------------
  152.  
  153.   // ------------------------------------------------------
  154.   // doit-on traiter ce lien?.. vÈrifier droits de dÈplacement
  155.   meme_adresse=strfield2(adr,urladr);
  156.   if ((opt->debug>1) && (opt->log!=NULL)) {
  157.     fspc(opt->log,"debug"); 
  158.     if (meme_adresse) 
  159.       fprintf(opt->log,"Compare addresses: %s=%s"LF,adr,urladr);
  160.     else
  161.       fprintf(opt->log,"Compare addresses: %s!=%s"LF,adr,urladr);
  162.     test_flush;
  163.   }
  164.   if (meme_adresse) {  // mÍme adresse 
  165.     {  // tester interdiction de descendre
  166.       // MODIFIE : en cas de remontÈe puis de redescente, il se pouvait qu'on ne puisse pas atteindre certains fichiers
  167.       // problËme: si un fichier est virtuellement accessible via une page mais dont le lien est sur une autre *uniquement*..
  168.       char tempo[HTS_URLMAXSIZE*2];
  169.       char tempo2[HTS_URLMAXSIZE*2];
  170.       
  171.       // note (up/down): on calcule ‡ partir du lien primaire, ET du lien prÈcÈdent.
  172.       // ex: si on descend 2 fois on peut remonter 1 fois
  173.       
  174.       if (lienrelatif(tempo,fil,liens[liens[ptr]->premier]->fil)==0) {
  175.         if (lienrelatif(tempo2,fil,liens[ptr]->fil)==0) {
  176.           if ((opt->debug>1) && (opt->log!=NULL)) {
  177.             fspc(opt->log,"debug"); fprintf(opt->log,"build relative links to test: %s %s (with %s and %s)"LF,tempo,tempo2,liens[liens[ptr]->premier]->fil,liens[ptr]->fil);
  178.             test_flush;
  179.           }
  180.           
  181.           // si vient de primary, ne pas tester lienrelatif avec (car host "diffÈrent")
  182.           /*if (liens[liens[ptr]->premier] == 0) {   // vient de primary
  183.           }
  184.           */
  185.           
  186.           // NEW: finalement OK, sauf pour les moved repÈrÈs par link_import
  187.           // PROBLEME : annulÈ a cause d'un lien Èventuel isolÈ acceptÈ..qui entrainerait un miroir
  188.           
  189.           // (test mÍme niveau (NOUVEAU ‡ cause de certains problËmes de filtres non intÈgrÈs))
  190.           // NEW
  191.           if ( (!strchr(tempo+1,'/')) || (!strchr(tempo2+1,'/')) ) {
  192.             if (!liens[ptr]->link_import) {   // ne rÈsulte pas d'un 'moved'
  193.               forbidden_url=0;
  194.               if ((opt->debug>1) && (opt->log!=NULL)) {
  195.                 fspc(opt->log,"debug"); fprintf(opt->log,"same level link authorized: %s%s"LF,adr,fil);
  196.                 test_flush;
  197.               }
  198.             }
  199.           }
  200.           
  201.           // down
  202.           if ( (strncmp(tempo,"../",3)) || (strncmp(tempo2,"../",3)))  {   // pas montÈe sinon ne nbous concerne pas
  203.             int test1,test2;
  204.             if (!strncmp(tempo,"../",3))
  205.               test1=0;
  206.             else
  207.               test1 = (strchr(tempo +((*tempo =='/')?1:0),'/')!=NULL);
  208.             if (!strncmp(tempo2,"../",3))
  209.               test2=0;
  210.             else
  211.               test2 = (strchr(tempo2+((*tempo2=='/')?1:0),'/')!=NULL);
  212.             if ( (test1) && (test2) ) {   // on ne peut que descendre
  213.               if ((opt->seeker & 1)==0) {  // interdiction de descendre
  214.                 forbidden_url=1;
  215.                 if ((opt->debug>1) && (opt->log!=NULL)) {
  216.                   fspc(opt->log,"debug"); fprintf(opt->log,"lower link canceled: %s%s"LF,adr,fil);
  217.                   test_flush;
  218.                 }
  219.               } else {    // autorisÈ ‡ priori - NEW
  220.                 if (!liens[ptr]->link_import) {   // ne rÈsulte pas d'un 'moved'
  221.                   forbidden_url=0;
  222.                   if ((opt->debug>1) && (opt->log!=NULL)) {
  223.                     fspc(opt->log,"debug"); fprintf(opt->log,"lower link authorized: %s%s"LF,adr,fil);
  224.                     test_flush;
  225.                   }
  226.                 }
  227.               }
  228.             } else if ( (test1) || (test2) ) {   // on peut descendre pour accÈder au lien
  229.               if ((opt->seeker & 1)!=0) {  // on peut descendre - NEW
  230.                 if (!liens[ptr]->link_import) {   // ne rÈsulte pas d'un 'moved'
  231.                   forbidden_url=0;
  232.                   if ((opt->debug>1) && (opt->log!=NULL)) {
  233.                     fspc(opt->log,"debug"); fprintf(opt->log,"lower link authorized: %s%s"LF,adr,fil);
  234.                     test_flush;
  235.                   }
  236.                 }
  237.               }
  238.             }
  239.           }
  240.           
  241.           
  242.           // up
  243.           if ( (!strncmp(tempo,"../",3)) && (!strncmp(tempo2,"../",3)) ) {    // impossible sans monter
  244.             if ((opt->seeker & 2)==0) {  // interdiction de monter
  245.               forbidden_url=1;
  246.               if ((opt->debug>1) && (opt->log!=NULL)) {
  247.                 fspc(opt->log,"debug"); fprintf(opt->log,"upper link canceled: %s%s"LF,adr,fil);
  248.                 test_flush;
  249.               }
  250.             } else {       // autorisÈ ‡ monter - NEW
  251.               if (!liens[ptr]->link_import) {   // ne rÈsulte pas d'un 'moved'
  252.                 forbidden_url=0;
  253.                 if ((opt->debug>1) && (opt->log!=NULL)) {
  254.                   fspc(opt->log,"debug"); fprintf(opt->log,"upper link authorized: %s%s"LF,adr,fil);
  255.                   test_flush;
  256.                 }
  257.               }
  258.             }
  259.           } else if ( (!strncmp(tempo,"../",3)) || (!strncmp(tempo2,"../",3)) ) {    // Possible en montant
  260.             if ((opt->seeker & 2)!=0) {  // autorisÈ ‡ monter - NEW
  261.               if (!liens[ptr]->link_import) {   // ne rÈsulte pas d'un 'moved'
  262.                 forbidden_url=0;
  263.                 if ((opt->debug>1) && (opt->log!=NULL)) {
  264.                   fspc(opt->log,"debug"); fprintf(opt->log,"upper link authorized: %s%s"LF,adr,fil);
  265.                   test_flush;
  266.                 }
  267.               }
  268.             }  // sinon autorisÈ en descente
  269.           }
  270.           
  271.           
  272.         } else {
  273.           if (opt->errlog) {
  274.             fprintf(opt->errlog,"Error building relative link %s and %s"LF,fil,liens[ptr]->fil);
  275.             test_flush;
  276.           }
  277.         }
  278.       } else {
  279.         if (opt->errlog) {
  280.           fprintf(opt->errlog,"Error building relative link %s and %s"LF,fil,liens[liens[ptr]->premier]->fil);
  281.           test_flush;
  282.         }
  283.       }
  284.       
  285.     }  // tester interdiction de descendre?
  286.     
  287.     {  // tester interdiction de monter
  288.       char tempo[HTS_URLMAXSIZE*2];
  289.       char tempo2[HTS_URLMAXSIZE*2];
  290.       if (lienrelatif(tempo,fil,liens[liens[ptr]->premier]->fil)==0) {
  291.         if (lienrelatif(tempo2,fil,liens[ptr]->fil)==0) {
  292.         } else {
  293.           if (opt->errlog) { 
  294.             fprintf(opt->errlog,"Error building relative link %s and %s"LF,fil,liens[ptr]->fil);
  295.             test_flush;
  296.           }
  297.           
  298.         }
  299.       } else {
  300.         if (opt->errlog) { 
  301.           fprintf(opt->errlog,"Error building relative link %s and %s"LF,fil,liens[liens[ptr]->premier]->fil);
  302.           test_flush;
  303.         }
  304.         
  305.       }
  306.     }   // fin tester interdiction de monter
  307.     
  308.   } else {    // adresse diffÈrente, sortir?
  309.     
  310.     //if (!opt->wizard) {    // mode non wizard
  311.     // doit-on traiter ce lien?.. vÈrifier droits de sortie
  312.     switch((opt->travel & 255)) {
  313.     case 0: 
  314.       if (!opt->wizard)    // mode non wizard
  315.         forbidden_url=1; break;    // interdicton de sortir au dela de l'adresse
  316.     case 1: {              // sortie sur le mÍme dom.xxx
  317.       int i=strlen(adr)-1;
  318.       int j=strlen(urladr)-1;
  319.       while( (i>0) && (adr[i]!='.')) i--;
  320.       while( (j>0) && (urladr[j]!='.')) j--;
  321.       i--; j--;
  322.       while( (i>0) && (adr[i]!='.')) i--;
  323.       while( (j>0) && (urladr[j]!='.')) j--;
  324.       if ((i>0) && (j>0)) {
  325.         if (!strfield2(adr+i,urladr+j)) {   // !=
  326.           if (!opt->wizard) {   // mode non wizard
  327.             //printf("refused: %s\n",adr);
  328.             forbidden_url=1;  // pas mÍme domaine  
  329.             if ((opt->debug>1) && (opt->log!=NULL)) {
  330.               fspc(opt->log,"debug"); fprintf(opt->log,"foreign domain link canceled: %s%s"LF,adr,fil);
  331.               test_flush;
  332.             }
  333.           }
  334.           
  335.         } else {
  336.           if (opt->wizard) {   // mode wizard
  337.             forbidden_url=0;  // mÍme domaine  
  338.             if ((opt->debug>1) && (opt->log!=NULL)) {
  339.               fspc(opt->log,"debug"); fprintf(opt->log,"same domain link authorized: %s%s"LF,adr,fil);
  340.               test_flush;
  341.             }
  342.           }
  343.         }
  344.         
  345.       } else
  346.         forbidden_url=1;
  347.             } 
  348.       break;  
  349.     case 2: {                      // sortie sur le mÍme .xxx
  350.       int i=strlen(adr)-1;
  351.       int j=strlen(urladr)-1;
  352.       while( (i>0) && (adr[i]!='.')) i--;
  353.       while( (j>0) && (urladr[j]!='.')) j--;
  354.       if ((i>0) && (j>0)) {
  355.         if (!strfield2(adr+i,urladr+j)) {   // !-
  356.           if (!opt->wizard) {   // mode non wizard
  357.             //printf("refused: %s\n",adr);
  358.             forbidden_url=1;  // pas mÍme .xx  
  359.             if ((opt->debug>1) && (opt->log!=NULL)) {
  360.               fspc(opt->log,"debug"); fprintf(opt->log,"foreign location link canceled: %s%s"LF,adr,fil);
  361.               test_flush;
  362.             }
  363.           }
  364.         } else {
  365.           if (opt->wizard) {   // mode wizard
  366.             forbidden_url=0;  // mÍme domaine  
  367.             if ((opt->debug>1) && (opt->log!=NULL)) {
  368.               fspc(opt->log,"debug"); fprintf(opt->log,"same location link authorized: %s%s"LF,adr,fil);
  369.               test_flush;
  370.             }
  371.           }
  372.         }
  373.       } else forbidden_url=1;     
  374.             } 
  375.       break;
  376.     case 7:                 // everywhere!!
  377.       if (opt->wizard) {   // mode wizard
  378.         forbidden_url=0;
  379.         break;
  380.       }
  381.     }  // switch
  382.     
  383.     // ANCIENNE POS -- rÈcupÈrer les liens ‡ cÙtÈs d'un lien (nearlink)
  384.     
  385.   }  // fin test adresse identique/diffÈrente
  386.  
  387.   // -------------------- PHASE 3 --------------------
  388.  
  389.   // rÈcupÈrer les liens ‡ cÙtÈs d'un lien (nearlink) (nvelle pos)
  390.   if (opt->nearlink) {
  391.     if (!ishtml(fil)) {  // non html
  392.       //printf("ok %s%s\n",ad,fil);
  393.       forbidden_url=0;    // autoriser
  394.       if ((opt->debug>1) && (opt->log!=NULL)) {
  395.         fspc(opt->log,"debug"); fprintf(opt->log,"near link authorized: %s%s"LF,adr,fil);
  396.         test_flush;
  397.       }
  398.     }
  399.   }
  400.   
  401.   // -------------------- PHASE 4 --------------------
  402.   
  403.   // ------------------------------------------------------
  404.   // Si wizard, il se peut qu'on autorise ou qu'on interdise 
  405.   // un lien spÈcial avant mÍme de tester sa position, sa hiÈrarchie etc.
  406.   // peut court-circuiter le forbidden_url prÈcÈdent
  407.   if (opt->wizard) { // le wizard entre en action..
  408.     //
  409.     int question=1;         // poser une question                            
  410.     int force_mirror=0;     // pour mirror links
  411.     int filters_answer=0;   // dÈcision prise par les filtres
  412.     char l[HTS_URLMAXSIZE*2];
  413.     char lfull[HTS_URLMAXSIZE*2];
  414.     
  415.     if (forbidden_url!=-1) question=0;  // pas de question, rÈsolu
  416.     
  417.     // former URL complËte du lien actuel
  418.     strcpybuff(l,jump_identification(adr));
  419.     if (*fil!='/') strcatbuff(l,"/");
  420.     strcatbuff(l,fil);
  421.     // full version (http://foo:bar@www.foo.com/bar.html)
  422.     if (!link_has_authority(adr))
  423.       strcpybuff(lfull,"http://");
  424.     else
  425.       lfull[0]='\0';
  426.     strcatbuff(lfull,adr);
  427.     if (*fil!='/') strcatbuff(lfull,"/");
  428.     strcatbuff(lfull,fil);
  429.     
  430.     // tester filters (URLs autorisÈes ou interdites explicitement)
  431.     
  432.     // si lien primaire on saute le joker, on est pas lÈmur
  433.     if (ptr==0) {  // lien primaire, autoriser
  434.       question=1;    // la question sera rÈsolue automatiquement
  435.       forbidden_url=0;
  436.     } else {
  437.       int jok;
  438.       // filters, 0=sait pas 1=ok -1=interdit
  439.       {
  440.         int jokDepth1=0,jokDepth2=0;
  441.         int jok1=0,jok2=0;
  442.         jok1  = fa_strjoker(filters,*filptr,lfull,NULL,NULL,&jokDepth1);
  443.         jok2 =  fa_strjoker(filters,*filptr,l,    NULL,NULL,&jokDepth2);
  444.         if (jok2 == 0)       // #2 doesn't know
  445.           jok = jok1;        // then, use #1
  446.         else if (jok1 == 0)  // #1 doesn't know
  447.           jok = jok2;        // then, use #2
  448.         else if (jokDepth1 >= jokDepth2)  // #1 matching rule is "after" #2, then it is prioritary
  449.           jok = jok1;
  450.         else                              // #2 matching rule is "after" #1, then it is prioritary
  451.           jok = jok2;
  452.       }
  453.  
  454.       if (jok == 1) {   // autorisÈ
  455.         filters_answer=1;  // dÈcision prise par les filtres
  456.         question=0;    // ne pas poser de question, autorisÈ
  457.         forbidden_url=0;  // URL autorisÈe
  458.         if ((opt->debug>1) && (opt->log!=NULL)) {
  459.           fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) explicit authorized link: link %s at %s%s"LF,l,urladr,urlfil);
  460.           test_flush;
  461.         }
  462.       } else if (jok == -1) {
  463.         filters_answer=1;  // dÈcision prise par les filtres
  464.         question=0;    // ne pas poser de question:
  465.         forbidden_url=1;   // URL interdite
  466.         if ((opt->debug>1) && (opt->log!=NULL)) {
  467.           fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) explicit forbidden link: link %s at %s%s"LF,l,urladr,urlfil);
  468.           test_flush;
  469.         }
  470.       }  // sinon on touche ‡ rien
  471.     }
  472.     
  473.     // vÈrifier mode mirror links
  474.     if (question) {
  475.       if (opt->mirror_first_page) {    // mode mirror links
  476.         if (liens[ptr]->precedent==0) {  // parent=primary!
  477.           forbidden_url=0;    // autorisÈ
  478.           question=1;         // rÈsolution auto
  479.           force_mirror=5;     // mirror (5)
  480.           if ((opt->debug>1) && (opt->log!=NULL)) {
  481.             fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) explicit mirror link: link %s at %s%s"LF,l,urladr,urlfil);
  482.             test_flush;
  483.           }
  484.         }
  485.       }
  486.     }
  487.  
  488.     // vÈrifier rÈcursivitÈ extÈrieure
  489.     if ((question) && (ptr>0) && (!force_mirror)) {
  490.       if (opt->extdepth>0) {
  491.         // *set_prio_to = opt->extdepth + 1;
  492.         *set_prio_to = opt->extdepth + 1;
  493.         forbidden_url=0;    // autorisÈ
  494.         question=0;         // rÈsolution auto
  495.         if ((opt->debug>1) && (opt->log!=NULL)) {
  496.           fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) ambiguous link accepted (external depth): link %s at %s%s"LF,l,urladr,urlfil);
  497.           test_flush;
  498.         }
  499.       }
  500.     }  
  501.     
  502.     // on doit poser la question.. peut on la poser?
  503.     // (oui je sais quel preuve de dÈlicatesse, merci merci)      
  504.     if ((question) && (ptr>0) && (!force_mirror)) {
  505.       if (opt->wizard==2) {    // Èliminer tous les liens non rÈpertoriÈs comme autorisÈs (ou inconnus)
  506.         question=0;
  507.         forbidden_url=1;
  508.         if ((opt->debug>1) && (opt->log!=NULL)) {
  509.           fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) ambiguous forbidden link: link %s at %s%s"LF,l,urladr,urlfil);
  510.           test_flush;
  511.         }
  512.       }
  513.     }
  514.     
  515.     // vÈrifier robots.txt
  516.     if (opt->robots) {
  517.       int r = checkrobots(robots,adr,fil);
  518.       if (r == -1) {    // interdiction
  519. #if DEBUG_ROBOTS
  520.         printf("robots.txt forbidden: %s%s\n",adr,fil);
  521. #endif
  522.         // question rÈsolue, par les filtres, et mode robot non strict
  523.         if ((!question) && (filters_answer) && (opt->robots == 1) && (forbidden_url!=1)) {
  524.           r=0;    // annuler interdiction des robots
  525.           if (!forbidden_url) {
  526.             if ((opt->debug>1) && (opt->log!=NULL)) {
  527.               fspc(opt->log,"debug"); fprintf(opt->log,"Warning link followed against robots.txt: link %s at %s%s"LF,l,adr,fil);
  528.               test_flush;
  529.             }
  530.           }
  531.         }
  532.         if (r == -1) {    // interdire
  533.           forbidden_url=1;
  534.           question=0;
  535.           if ((opt->debug>1) && (opt->log!=NULL)) {
  536.             fspc(opt->log,"debug"); fprintf(opt->log,"(robots.txt) forbidden link: link %s at %s%s"LF,l,adr,fil);
  537.             test_flush;
  538.           }
  539.         }
  540.       }
  541.     }
  542.     
  543.     if (!question) {
  544.       if ((opt->debug>1) && (opt->log!=NULL)) {
  545.         if (!forbidden_url) {
  546.           fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) shared foreign domain link: link %s at %s%s"LF,l,urladr,urlfil);
  547.         } else {
  548.           fspc(opt->log,"debug"); fprintf(opt->log,"(wizard) cancelled foreign domain link: link %s at %s%s"LF,l,urladr,urlfil);
  549.         }
  550.         test_flush;
  551.       }
  552. #if BDEBUG==3
  553.       printf("at %s in %s, wizard says: url %s ",urladr,urlfil,l);
  554.       if (forbidden_url) printf("cancelled"); else printf(">SHARED<");
  555.       printf("\n");
  556. #endif 
  557.     }
  558.  
  559.     /* en cas de question, ou lien primaire (enregistrer autorisations) */
  560.     if (question || (ptr==0)) {
  561. #if HTS_ANALYSTE
  562.       char* s;
  563. #else
  564.       char s[4];
  565. #endif
  566.       int n=0;
  567.       
  568.       // si primaire (plus bas) alors ...
  569.       if ((ptr!=0) && (force_mirror==0)) {
  570.         HTS_REQUEST_START;
  571.         HT_PRINT("\n");
  572.         HT_PRINT("At "); HT_PRINT(urladr); HT_PRINT(", there is a link ("); HT_PRINT(adr); HT_PRINT("/"); HT_PRINT(fil); HT_PRINT(") which goes outside the address."LF);
  573.         HT_PRINT("What should I do? (press a key + enter)"LF LF);
  574.         HT_PRINT("* Ignore all further links" LF);
  575.         HT_PRINT("0 Ignore this link (default if empty entry)"LF);
  576.         HT_PRINT("1 Ignore directory and lower structures"LF);
  577.         HT_PRINT("2 Ignore all domain"LF);
  578.         //HT_PRINT("3 (Ignore location, not implemented)\n");
  579.         HT_PRINT(LF);
  580.         HT_PRINT("4 Get only this page/link"LF);
  581.         HT_PRINT("5 Mirror this link (useful)"LF);
  582.         HT_PRINT("6 Mirror links located in the same domain"LF);
  583.         HT_PRINT(LF);
  584. //#if HTS_ANALYSTE!=2
  585. //HT_PRINT("! View extract of html code where the link is located"LF);
  586. //#endif
  587.         HTS_REQUEST_END;
  588. #if HTS_ANALYSTE
  589.           {
  590.             char tempo[HTS_URLMAXSIZE*2];
  591.             tempo[0]='\0';
  592.             strcatbuff(tempo,adr);
  593.             strcatbuff(tempo,"/");
  594.             strcatbuff(tempo,fil);
  595.             s=hts_htmlcheck_query3(tempo);
  596.           }
  597. #else
  598.         do {
  599.           io_flush; linput(stdin,s,2);
  600. #endif
  601.           if (strnotempty(s)==0)  // entrÈe
  602.             n=0;
  603.           else if (isdigit((unsigned char)*s))
  604.             sscanf(s,"%d",&n);
  605.           else {
  606.             switch(*s) {
  607.             case '*': n=-1; break;
  608.             case '!': n=-999; {
  609.               /*char *a;
  610.               int i;                                    
  611.               a=copie_de_adr-128;
  612.               if (a<r.adr) a=r.adr;
  613.               for(i=0;i<256;i++) {
  614.                 if (a==copie_de_adr) printf("\nHERE:\n");
  615.                 printf("%c",*a++);
  616.               }
  617.               printf("\n\n");
  618.               */
  619.                       }
  620.               break;
  621.             default: n=-999; printf("What did you say?\n"); break;
  622.               
  623.             } 
  624.           }
  625. #if HTS_ANALYSTE
  626. #else
  627.         } while(n==-999);
  628. #endif
  629.         io_flush;
  630.       } else {   // lien primaire: autoriser rÈpertoire entier       
  631.         if (!force_mirror) {
  632.           if ((opt->seeker & 1)==0) {  // interdiction de descendre
  633.             n=7;
  634.           } else {
  635.             n=5;   // autoriser miroir rÈpertoires descendants (lien primaire)
  636.           }
  637.         } else   // forcer valeur (sub-wizard)
  638.           n=force_mirror;
  639.       }
  640.       
  641.       /* sanity check */
  642.       if ((*filptr) + 1 >= opt->maxfilter) {
  643.         opt->maxfilter += HTS_FILTERSINC;
  644.         if (filters_init(&filters, opt->maxfilter, HTS_FILTERSINC) == 0) {
  645.           printf("PANIC! : Too many filters : >%d [%d]\n", (*filptr),__LINE__);
  646.           fflush(stdout);
  647.           if (opt->errlog) {
  648.             fprintf(opt->errlog,LF"Too many filters, giving up..(>%d)"LF, (*filptr) );
  649.             fprintf(opt->errlog,"To avoid that: use #F option for more filters (example: -#F5000)"LF);
  650.             test_flush;
  651.           }
  652.           abort();         // wild..
  653.         }
  654.         //opt->filters.filters=filters;
  655.         *ptrfilters = filters;
  656.       }
  657.  
  658.       switch(n) {
  659.       case -1: // sauter tout le reste
  660.         forbidden_url=1;
  661.         opt->wizard=2;    // sauter tout le reste
  662.         break;
  663.       case 0:    // interdire les mÍmes liens: adr/fil
  664.         forbidden_url=1; 
  665.         HT_INSERT_FILTERS0;    // insÈrer en 0
  666.         strcpybuff(filters[0],"-");
  667.         strcatbuff(filters[0],jump_identification(adr));
  668.         if (*fil!='/') strcatbuff(filters[0],"/");
  669.         strcatbuff(filters[0],fil);
  670.         break;
  671.         
  672.       case 1: // Èliminer rÈpertoire entier et sous rÈp: adr/path/ *
  673.         forbidden_url=1;
  674.         {
  675.           int i=strlen(fil)-1;
  676.           while((fil[i]!='/') && (i>0)) i--;
  677.           if (fil[i]=='/') {
  678.             HT_INSERT_FILTERS0;    // insÈrer en 0
  679.             strcpybuff(filters[0],"-");
  680.             strcatbuff(filters[0],jump_identification(adr));
  681.             if (*fil!='/') strcatbuff(filters[0],"/");
  682.             strncatbuff(filters[0],fil,i);
  683.             if (filters[0][strlen(filters[0])-1]!='/') strcatbuff(filters[0],"/");
  684.             strcatbuff(filters[0],"*");
  685.           }
  686.         }            
  687.         
  688.         // ** ...
  689.         break;
  690.         
  691.       case 2:    // adresse adr*
  692.         forbidden_url=1;
  693.         HT_INSERT_FILTERS0;    // insÈrer en 0                                
  694.         strcpybuff(filters[0],"-");
  695.         strcatbuff(filters[0],jump_identification(adr));
  696.         strcatbuff(filters[0],"*");
  697.         break;
  698.         
  699.       case 3: // ** A FAIRE
  700.         forbidden_url=1;
  701.         /*
  702.         {
  703.         int i=strlen(adr)-1;
  704.         while((adr[i]!='/') && (i>0)) i--;
  705.         if (i>0) {
  706.         
  707.           }
  708.           
  709.       }*/
  710.         
  711.         break;
  712.         //
  713.       case 4:    // same link
  714.         // PAS BESOIN!!
  715.         /*HT_INSERT_FILTERS0;    // insÈrer en 0                                
  716.         strcpybuff(filters[0],"+");
  717.         strcatbuff(filters[0],adr);
  718.         if (*fil!='/') strcatbuff(filters[0],"/");
  719.         strcatbuff(filters[0],fil);*/
  720.         
  721.         
  722.         // Ètant donnÈ le renversement wizard/primary filter (les primary autorisent up/down ET interdisent)
  723.         // il faut Èviter d'un lien isolÈ effectue un miroir total..
  724.         
  725.         *set_prio_to = 0+1;    // niveau de rÈcursion=0 (pas de miroir)
  726.         
  727.         break;
  728.         
  729.       case 5:    // autoriser rÈpertoire entier et fils
  730.         if ((opt->seeker & 2)==0) {  // interdiction de monter
  731.           int i=strlen(fil)-1;
  732.           while((fil[i]!='/') && (i>0)) i--;
  733.           if (fil[i]=='/') {
  734.             HT_INSERT_FILTERS0;    // insÈrer en 0                                
  735.             strcpybuff(filters[0],"+");
  736.             strcatbuff(filters[0],jump_identification(adr));
  737.             if (*fil!='/') strcatbuff(filters[0],"/");
  738.             strncatbuff(filters[0],fil,i+1);
  739.             strcatbuff(filters[0],"*");
  740.           }
  741.         } else {    // autoriser domaine alors!!
  742.           HT_INSERT_FILTERS0;    // insÈrer en 0                                strcpybuff(filters[filptr],"+");
  743.           strcpybuff(filters[0],"+");
  744.           strcatbuff(filters[0],jump_identification(adr));
  745.           strcatbuff(filters[0],"*");
  746.         }
  747.         break;
  748.         
  749.       case 6:    // same domain
  750.         HT_INSERT_FILTERS0;    // insÈrer en 0                                strcpybuff(filters[filptr],"+");
  751.         strcpybuff(filters[0],"+");
  752.         strcatbuff(filters[0],jump_identification(adr));
  753.         strcatbuff(filters[0],"*");
  754.         break;
  755.         //
  756.       case 7:    // autoriser ce rÈpertoire
  757.         {
  758.           int i=strlen(fil)-1;
  759.           while((fil[i]!='/') && (i>0)) i--;
  760.           if (fil[i]=='/') {
  761.             HT_INSERT_FILTERS0;    // insÈrer en 0                                
  762.             strcpybuff(filters[0],"+");
  763.             strcatbuff(filters[0],jump_identification(adr));
  764.             if (*fil!='/') strcatbuff(filters[0],"/");
  765.             strncatbuff(filters[0],fil,i+1);
  766.             strcatbuff(filters[0],"*[file]");
  767.           }
  768.         }
  769.         
  770.         break;
  771.         
  772.       case 50:    // on fait rien
  773.         break;
  774.       }  // switch 
  775.                               
  776.     }  // test du wizard sur l'url
  777.   }  // fin du test wizard..
  778.  
  779.   // -------------------- PHASE 5 --------------------
  780.  
  781.   // lien non autorisÈ, peut-on juste le tester?
  782.   if (just_test_it) {
  783.     if (forbidden_url==1) {
  784.       if (opt->travel&256) {    // tester tout de mÍme
  785.         if (strfield(adr,"ftp://")==0) {    // PAS ftp!
  786.           forbidden_url=1;    // oui oui toujours interdit (note: sert ‡ rien car ==1 mais c pour comprendre)
  787.           *just_test_it=1;     // mais on teste
  788.           if ((opt->debug>1) && (opt->log!=NULL)) {
  789.             fspc(opt->log,"debug"); fprintf(opt->log,"Testing link %s%s"LF,adr,fil);
  790.           }
  791.         }
  792.       }
  793.     }
  794.     //adr[0]='\0';  // cancel
  795.   }
  796.  
  797.   // -------------------- PHASE 6 --------------------
  798. #if HTS_ANALYSTE
  799.   {
  800.     int test_url=hts_htmlcheck_check(adr,fil,forbidden_url);
  801.     if (test_url!=-1)
  802.       forbidden_url=test_url;
  803.   }
  804. #endif  
  805.   return forbidden_url;
  806. }
  807.  
  808. // tester taille
  809. int hts_testlinksize(httrackp* opt,
  810.                      char* adr,char* fil,
  811.                      LLint size) {
  812.   int jok=0;
  813.   if (size>=0) {
  814.     char l[HTS_URLMAXSIZE*2];
  815.     char lfull[HTS_URLMAXSIZE*2];
  816.     if (size>=0) {
  817.       LLint sz=size;
  818.       int size_flag=0;
  819.       
  820.       // former URL complËte du lien actuel
  821.       strcpybuff(l,jump_identification(adr));
  822.       if (*fil!='/') strcatbuff(l,"/");
  823.       strcatbuff(l,fil);
  824.       //
  825.       if (!link_has_authority(adr))
  826.         strcpybuff(lfull,"http://");
  827.       else
  828.         lfull[0]='\0';
  829.       strcatbuff(lfull,adr);
  830.       if (*fil!='/') strcatbuff(l,"/");
  831.       strcatbuff(lfull,fil);
  832.       
  833.       // tester filtres (taille)
  834.       // jok = fa_strjoker(opt->filters.filters,*opt->filters.filptr,l,&sz,&size_flag,NULL);
  835.  
  836.       // filters, 0=sait pas 1=ok -1=interdit
  837.       {
  838.         int jokDepth1=0,jokDepth2=0;
  839.         int jok1=0,jok2=0;
  840.         LLint sz1=size,sz2=size;
  841.         int size_flag1=0,size_flag2=0;
  842.         jok1  = fa_strjoker(*opt->filters.filters,*opt->filters.filptr,lfull,&sz1,&size_flag1,&jokDepth1);
  843.         jok2 =  fa_strjoker(*opt->filters.filters,*opt->filters.filptr,l,    &sz2,&size_flag2,&jokDepth2);
  844.         if (jok2 == 0) {      // #2 doesn't know
  845.           jok = jok1;        // then, use #1
  846.           sz = sz1;
  847.           size_flag = size_flag1;
  848.         } else if (jok1 == 0) {  // #1 doesn't know
  849.           jok = jok2;        // then, use #2
  850.           sz = sz2;
  851.           size_flag = size_flag2;
  852.         } else if (jokDepth1 >= jokDepth2) { // #1 matching rule is "after" #2, then it is prioritary
  853.           jok = jok1;
  854.           sz = sz1;
  855.           size_flag = size_flag1;
  856.         } else {                              // #2 matching rule is "after" #1, then it is prioritary
  857.           jok = jok2;
  858.           sz = sz2;
  859.           size_flag = size_flag2;
  860.         } 
  861.       }
  862.       
  863.  
  864.       // log
  865.       if (jok==1) {
  866.         if ((opt->debug>1) && (opt->log!=NULL)) {
  867.           fspc(opt->log,"debug"); fprintf(opt->log,"File confirmed (size test): %s%s ("LLintP")"LF,adr,fil,(LLint)(size));
  868.         }
  869.       } else if (jok==-1) {
  870.         if (size_flag) {        /* interdit ‡ cause de la taille */
  871.           if ((opt->debug>1) && (opt->log!=NULL)) {
  872.             fspc(opt->log,"debug"); fprintf(opt->log,"File cancelled due to its size: %s%s ("LLintP", limit: "LLintP")"LF,adr,fil,(LLint)(size),(LLint)(sz));
  873.           }
  874.         } else {
  875.           jok=1;
  876.         }
  877.       }
  878.     }
  879.   }
  880.   return jok;
  881. }
  882.  
  883.  
  884.  
  885. #undef test_flush
  886. #undef urladr
  887. #undef urlfil
  888.  
  889. #undef HT_INSERT_FILTERS0
  890.  
  891.